from llama_cpp import Llama

# 假设你的GGUF模型文件位于"path/to/llama-model.gguf"
llm = Llama(model_path="path/to/llama-model.gguf")

# 提示信息
prompt = "The quick brown fox jumps over the lazy dog"

# 生成完成
output = llm(prompt, max_tokens=50, stop=["</s>"], echo=True)

# 打印输出
print(output)